Metric	Score
Weighted-F1	73.89
Hyphens-F1	54.47
Comma-F1	70.68
Ellipsis-F1	0.00
Fullstop-F1	83.06
QMark-F1	61.40
Colon-F1	65.38
Excl-F1	0.00

Metric	Score
Weighted-F1	70.59
Hyphens-F1	47.78
Comma-F1	69.38
Ellipsis-F1	100.00
Fullstop-F1	78.46
QMark-F1	66.84
Colon-F1	66.75
Excl-F1	0.00

Metric	Score
Weighted-F1	78.88
Hyphens-F1	59.92
Comma-F1	74.52
Ellipsis-F1	100.00
Fullstop-F1	86.92
QMark-F1	75.00
Colon-F1	70.09
Excl-F1	40.00

Metric	Score
Weighted-F1	76.49
Hyphens-F1	65.79
Comma-F1	73.81
Ellipsis-F1	100.00
Fullstop-F1	85.66
QMark-F1	61.86
Colon-F1	54.96
Excl-F1	26.67

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-B Colon-F1
1	wikinews186596 prezes urzędu komunikacji elektronicznej anna streżyńska odrzuca zarzuty prezesa telekomunikacji polskiej że regulator wyznac…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
2	wikinews190677 w kilku miastach polski pojawiły się reklamy telefonu komórkowego firmy nokia z tekstem zachęcającym do łamania prawa na plak…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
3	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
4	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
5	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
6	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
7	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
8	wikinews183820 " kościół zawsze nalegał i przypominał że to jest obowiązek moralny wzięcia udziału w wyborach natomiast nie powinien się wyp…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
9	wikinews182971 choć niemcy borykają się brakiem niewykwalifikowanej siły roboczej to nadal maja zamknięty rynek pracy dla nowych krajów ue o…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
10	wikinews196753 wydano peazip 4 7 rozbudowany program do kompresji danych i zarządzania archiwami peazip obsługuje większość współczesnych fo…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
11	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
12	wikinews231720 na dzień otwarty z okazji dnia rodzicielstwa zastępczego zapraszają pracownicy miejskiego ośrodka pomocy rodzinie w słupsku z…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
13	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O …	0.00
14	wikinews184854 piotr kosmala ogłosił skład swojej ekipy na sezon w 2008 roku z uwagi na fakt iż w nadchodzącym sezonie grupa ta będzie wystę…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O …	0.00
15	wikinews228845 lech kaczyński i donald tusk uzyskaliby 24 % natomiast włodzimierz cimoszewicz 19 % głosów jeżeli wybory odbyły się w pierwsz…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
16	wikinews230935 w czwartek 19 kwietnia w princeton zmarł profesor bohdan paczyński miał 67 lat prof paczyński był uważany za najpoważniejszeg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
17	wikitalks009315 co to są " kanały półlegalne " pochodzenie mianem " bootlegers " określano przemytników przemycających towar w butach w xvii…	O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
18	wikinews218164 po wyborach do rosyjskiej dumy 10 grudnia odbyła się kilkudziesięciotysięczna manifestacja w moskwie a także inne kilkutysięc…	O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
19	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
20	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O …	0.00
21	wikitalks0017422 dlaczego w histori nie ma wspomnienia o grabarzu i jego torturach 5077 70 8 pewnie dlatego że nie dotarli do odpowiedniej l…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
22	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
23	wikinews215176 po obaleniu w wyniku antyrządowych protestów prezydent kirgistanu kurmanbek bakijew miał według mediów dziś rano udać się na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
24	wikinews186460 dzisiaj na terenie gruzji została aresztowana ekipa tvp dziennikarz dariusz bohatkiewicz operator marcin wesołowski oraz lewa…	O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
25	wikinews226913 1 listopada jak co roku odbędzie się kolejna kwesta na rzecz ratowania zabytków starego cmentarza w łodzi tegoroczna zbiórka …	O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
26	wikinews230789 zwiększa się liczba krajów związkowych które znacząco liberalizują panujące do niedawna na terenie całej federacji przepisy o…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
27	wikitalks004052 a dlaczego dane są tylko do 2017 roku źródła przepraszam ja nie posiadam źródeł ale na początku winna być poprawka wzrost lu…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
28	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
29	wikinews226436 klub azs zakopane zwyciężył w drużynowym konkursie mistrzostw polski w skokach narciarskich rozegranym na skoczni im adama ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
30	wikinews189275 echem odbił się w kraju wywiad jakiego mirosław drzewiecki udzielił polonijnym dziennikarzom na florydzie w ujawnionym przez …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
31	wikinews189493 bratysława odbywający się w sobotę 22 maja 2010 r w stolicy słowacji gay pride zaatakowały bojówki skrajnie prawicowych organ…	B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
32	wikinews229677 brytyjska policja aresztowała mężczyznę podejrzanego o dokonanie mordu na 5 prostytutkach na terenie miasta ipswich we wschod…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
33	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O O O O O O O O O B-KOLON O B-KOLON O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O …	2.15
34	wikinews227301 dzisiaj zakończyły się zmagania kwalifikacji do zawodów gry pojedynczej w turnieju tenisowym katowice open 2015 awans do turn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O B-KOLON O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	16.67
35	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	33.33
36	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	40.00
37	wikitalks001549 nie zmieniłem tego ale wydaje mi się że zamiast " buddyźmie " " marksiźmie " " relatywiźmie " powinno być " buddyzmie " " ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KO…	O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	57.14
38	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	57.14
39	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O B-KOLON O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O …	60.00
40	wikitalks009129 co znaczy że beginki " padły ofiarą reformacji " grzesie2k wpis na słabym poziomie bzdurna informacja o 50 spalonych waldens…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-KOLON O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67